過去在 DL 模型的開發過程中，要追蹤大量的資料和實驗結果可能需要結合多項工具，形成較高的學習成本；針對這些問題，HPE 推出 MLDM、MLDE 作為解決方案，使用者只需要熟悉這兩項工具，就能包辦大部分的開發工作，而實際使用的體驗也讓我們認為是值得一試的。

在第 11、12 天討論的「為什麼我們需要資料版本控制？」文章中，我們分享了如何以 HPE MLDM 來讓資料前處理工作自動化，以及使用內建的版控功能，管理大量資料與前處理程式。這篇文章我們將著重在結合 MLDM 與 MLDE 實作模型的訓練，從前處理到模型訓練都在版控環境中執行，讓開發過程更順暢。

HPE 的完整生態系：MLDM + MLDE

先幫大家複習一下 MLDE，它提供深度學習（Deep Learning, DL）模型的自動化超參數（Hyperparameter）搜尋功能，開發者僅需以 MLDE 指定的方式建立 PyTorchTrial 物件，指定要搜尋的超參數範圍，就能簡單執行超參數搜尋。

訓練完成後，MLDE 同樣內建幾種視覺化工具，可將實驗結果以直覺易懂的圖表呈現，讓管理實驗結果變得更輕鬆；MLDM 則將重點放在資料版本控制和前處理的自動化，工程師能以近似程式碼的版本控制方式去管理資料，更重要的是，MLDE 設定實驗參數時，可以使用 MLDM 的 Repository 作為資料來源，實現從資料上傳、前處理到輸入模型、訓練一條龍的整合。

而明天，我們會使用 MLDM + MLDE 來進行貓狗圖片分類的卷積神經網路（Convolutional Neural Network，CNN）模型訓練，並進行以下操作：

• 下載 Kaggle 平台上的「Dogs vs. Cats」資料集（共 854 GB，需要建立 Kaggle 帳戶且同意競賽規則才能下載）
• 建立 MLDM Project、Repo
• 建立 MLDE 模型超參數最佳化實驗

完整實作搶先看 >> https://bit.ly/3Cj6O7O
Line 官方帳號，看最新技術文章：https://user137910.pse.is/aif2024ironman

參考資料

• 用 MLDE 平台實作 PyTorch 卷積神經網路模型 /hpe-mlde-unboxing1/
• Pachyderm Docs/Home/Latest/Integrate/Determined https://docs.pachyderm.com/latest/integrate/determined/
  （本篇文章由人工智慧科技基金會、HPE 與 AMD 共同合作。）